Alfonso là con trai duy nhất còn sống của Juan II với người vợ thứ hai là Isabel của Bồ Đào Nha. Chị gái của Alfonso là Isabel, tương lai là Nữ vương Isabel I của Castilla, cũng là con gái duy nhất còn sống của Juan II và Isabel của Bồ Đào Nha.

Sau cái chết của cha là Juan II, Alfonso, mẹ và chị gái gần như bị lưu đày, trong khi Thái hậu Isabel bị đưa đến Arevalo thì hai chị em đến Segovia. Khi Alfonso khoảng bảy tuổi, Vương tử cùng chị gái được chuyển đến triều đình của Enrique IV tại Madrid và được đặt trong hộ gia của Vương hậu Joana. Trong thời gian này, có tin đồn rằng Vương hậu Joana đã cố gắng đầu độc Alfonso ít nhất một lần để đảm bảo quyền kế vị cho cô con gái duy nhất của mình.